SILAGE: Optimización No Convexa Eficiente en Memoria para Sumas Finitas Anidadas
Descubre SILAGE, algoritmo que elimina los gradientes completos usando solo O(n) memoria. Se adapta a la heterogeneidad de datos. Ideal para grandes datos.
#eficiencia de memoria
SILAGE: Optimización no convexa eficiente en memoria y sin gradiente completo
Optimiza modelos sin gradientes completos: conoce SILAGE, el algoritmo que ahorra memoria y acelera el entrenamiento.
GRASP: Transferencia secuencial con alineación de gradientes para multisource
Aprende cómo GRASP logra un 93.5% de precisión media usando solo memoria constante, fusionando modelos secuencialmente.
Optimización sin parámetros de orden cero para métodos LMO eficientes
Descubre AdaNAGED: optimización sin parámetros y sin gradientes para ajuste fino de LLMs con ahorro de memoria.
LoRA-Muon: descenso espectral en el manifold de bajo rango
Descubre LoRA-Muon: optimiza fine-tuning con bajo rango, transfiere tasas de aprendizaje, supera líneas base densas. Eficiente en memoria.
Enlace recursivo económico: Tallado de subespacios en tensores de orden p
Descubre Orthogonal Subspace Carving: enlace recursivo profundo con memoria constante. Supera TPR y VSA con eficiencia y fidelidad sin crecimiento exponencial.
Unificando datos, memoria y cómputo en entrenamiento de LLMs
Descubre cómo unificar la eficiencia en datos, memoria y cómputo para entrenar LLMs de forma óptima bajo presupuestos limitados. Aprende técnicas clave.
GRID: Escalando inferencia sin tareas en ajuste continuo de prompts
Descubre GRID, un nuevo marco para el aprendizaje continuo en LLMs que evita la dependencia de identificadores de tarea, mejorando la transferencia hacia atrás y reduciendo el uso de memoria.
POET-X: Entrenamiento eficiente de LLMs con transformaciones ortogonales
Descubre POET-X, el método que entrena LLMs de miles de millones de parámetros en una sola GPU H100 con menor memoria. ¡Optimiza tu entrenamiento!
UNIQ: Calibración Conformal para Conservadurismo Adaptativo en RL Offline
UNIQ: calibración conformal para RL offline con conservadurismo adaptativo. Mejora el rendimiento con bajo costo de memoria. ¡Descúbrelo!
Fundamentos Reversibles: Escalado de Preservación de Estado para MoE de 120B
Entrena un MoE de 120B en una sola máquina con 8 GPUs usando reversibilidad y escalado preservador de estado. Eficiencia sin precedentes.
Operadores Neurales de Kernel (KNO): aprendizaje de operadores escalable
Descubre los Kernel Neural Operators (KNO): aprendizaje de operadores escalable, eficiente en memoria y flexible en geometrías irregulares.
Backpropagación Estructurada Eficiente en Memoria para Ajuste Fino de LLM
Descubre MeSP: reduce un 49% la memoria al ajustar LLMs en dispositivos, con gradientes exactos. Ideal para entrenamiento privado.
BitsMoE: Asignación eficiente de bits para cuantización de MoE LLM
BitsMoE asigna bits inteligentemente en MoE LLM, logrando cuantización 2 bits con 27.83% más precisión, 12.3x más rápida y 1.76x más velocidad.
Entrenamiento eficiente de LLMs con dispersión dinámica
Descubre cómo SMET mejora el entrenamiento disperso dinámico de LLMs, eliminando picos de pérdida y reduciendo el uso de memoria. ¡Optimiza tu modelo!